A Hierarchical Language Model with Predictable Scaling Laws and Provable Benefits of Reasoning
具有可预测缩放定律及推理可证明益处的层级语言模型
🧭 LLM ★ 深度解读
Duke University · University of Chicago · MIT · Princeton University
用树广播过程定义合成语言，精确分析上下文长度与推理的作用，证明有限上下文导致统计不一致且 O(log n) 记忆的推理即可精确采样